LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback
LEMUR：从偏好反馈中学习多目标强化学习的对齐框架
🧭 多目标偏好强化学习
University of Manchester · University of Sheffield · Sheffield Hallam University
通过多人偏好反馈联合学习多奖励模型与策略，无需预定义奖励函数即可平衡多个竞争目标
📌 工作参考价值（4 点）
- 交互式多目标推荐学习：在推荐系统中，可直接收集用户对推荐列表的偏好（如“列表A优于B”）而非设计显式奖励，自动学习CTR、GMV、多样性等目标的隐奖励模型。
- 无权重预设的多目标折中：不需手动指定各目标权重，通过偏好反馈隐式学习用户或业务方的偏好结构，使策略自动适应不同权衡需求，适合电商中动态变化的业务指标。
- Agent决策优化：对对话推荐或任务型Agent，可用此法同时优化任务完成率、对话长度、用户满意度等多目标，利用人类反馈交互式训练，降低奖励函数设计的成本。
- 工程借鉴：联合训练策略与多个目标奖励模型的架构可用于实际在线学习系统，配合主动查询（选择信息量高的轨迹对进行标注）提升样本效率。